iT邦幫忙

DAY 1
5

用python擷取網頁上的開放資訊(數據資料),分析及畫出圖表系列 第 1

用python抓網頁data,及做圖表之一:環境的設定

  • 分享至 

  • xImage
  •  

1。python的版本
2。用到的工具,畫圖:matplotlib,製表:pandas, 轉csv檔/抓網頁:build in standard library, 整合環境:IPython(notebook),擷取出網頁裏的data:buildful soup. sql db:build in sqlite3.
3。找url及參數:windows上,用fiddle, linux上,還在試…
python己經有第三版,所謂的python3, 因為和python(python2)很多不相容,
所以目前這兩個版本是可以並行在同一平台上。用python和python3識別。
所以在ubuntu(linux)上,安裝套件時,要看清楚差別。

因為python太流行,所以它的相關套件都離最新的版本不會差太多,如果,你喜歡用GUI來安裝,
如Synaptic manager, 或是sudo apt-get install 套件,都很輕鬆愉快。
套件名要注意python和python3,有名的套件,如numpy, scipy同時都會打包兩種版本。

一些安裝時遇到的問題:matplotlib沒有現成打包好的python3版,而直接去官網下載http://matplotlib.org/downloads.html,1.3版,
解壓後,進入目錄,用sudo python3 setup.py build, sudo python3 setup.py install, 會出錯,導致IPython3也掛掉,on不起來。網路上也有很多人遇到,可以google到,
大概是到github裏下載最新的,修正過的source code來做,可參考這位仁兄的動作,
https://gist.github.com/mlongval/4950532

而window上,有善心人士,做了一個集成包,python(x,y),https://code.google.com/p/pythonxy/。
簡直是棒極了,也不必用easy install, pip一類的典型工具下指令安裝,直接用勾的。
就把IPython/matplotlib裝好。

But, 可惜,沒有python3版。雖然大多數人並不覺得可惜,python2.7就很好用且穩定。python(x,y)仍是在window上強力推的集成包。尤其是之前個別裝套件,裝得頭昏眼花的筆者。

這個圖體現了,把代碼整篇貼上IPython,按shift+endter執行,就得到一張圖。

在matplotlib的官網上,基本上,有大量的example, gallery, 程式碼大多可直接copy貼來IPython, 秀圖出來。所以它們是天生哥倆好。

iInfo(white_5168)先生的blog, http://white5168.blogspot.tw/, 是一個很讚的
用內建python標準庫來抓網頁的例子。是用2.7版寫的,所以用python3直接就編譯不過,
是很好的理解python/python3差異的例子。也許有機會可以試試用官方的轉換工具來升級,
是個很好的主題,就看之後時間分配上及技術熟練度是否能做到。
這位仁兄的python code會將網頁另存成csv檔。

現在才發現,貼文不能上傳檔案給人下載,得找個流行的下載方式。


下一篇
用python抓網頁data,及做圖表之二:用到的模組練習
系列文
用python擷取網頁上的開放資訊(數據資料),分析及畫出圖表22
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 則留言

我要留言

立即登入留言